#Adaptive Inference

5 篇

Recommender System as Slow and Fast Thinkers

序列推荐中的快慢双系统自适应推理框架

🧭 自适应快慢推理 · 序列推荐 ★ 深度解读

City University of Hong Kong · University of Electronic Science and Technology of China · Shanghai Jiao Tong University · Fenz.AI · University of Science and Technology of China

提出 DS-Frame 插件式快慢推理框架，用样本级路由只对难样本做多步 latent refinement，在 SASRec/BERT4Rec 上平均提升约 7%

📌 工作参考价值（4 点）

在不改主排序模型架构的前提下，把「一次性前向」升级为「共享 encoder + 轻量 slow path + 路由 gate」。线上可以按 latency budget 调整慢路径激活率或阈值，适合精排/粗排做样本级算力分配。
Selector 训练直接用 fast/slow 的 loss + 成本比较构造 oracle 标签，再用 budget regularizer 约束激活率；这种方法不用额外标注，业务里可先在离线训练 gate，在线只过 MLP，成本可控且路由可解释。
Slow System 不重新 encode 整条用户序列，而是在共享表示后逐步拼接 reasoning token 做 latent refinement；配合 step embedding、KL 连续性和渐进温度退火，能稳定多步推理。可迁移到 LLM-based Rec 或 Agent 生成中间推理轨迹时稳定输出。
评估不仅看整体 NDCG/HR，还按用户历史长度和物品流行度分层看 group-wise 收益。电商推荐中长历史、小众兴趣用户往往是难例，这种分层能直接看到自适应推理是否真的补到短板。

RecSys | 2026-09-02 | cs.IR | score 8/10

Looped Language Models Improve Compositional Tool Calling

循环语言模型提升组合工具调用

🧭 循环语言模型优化多步工具调用

Department of Computer Science and Technology, University of Cambridge, United Kingdom

循环计算在组合式工具调用中提升准确率，自适应推理深度提供更优算力-性能折中

📌 工作参考价值（4 点）

多步 API 协调、状态依赖保持是 Agent 落地的核心难点，可尝试将 backbone 换成或改造为循环语言模型，替代复杂 prompt 工程，提升组合工具调用稳定性。
自适应推理深度在保证准确率的同时控制算力，适合线上 API 开销敏感场景；可以在推理时根据任务复杂度动态分配 recurrent depth。
论文验证了 retrofitted 循环模型（对 Llama、OLMo 等现有模型插入循环层）与原生循环模型均有增益，意味着现有 SFT 流程可复用，作为生成式 Agent 的候选架构成本较低。
业务中若涉及复杂工具编排（如电商 Agent 串联商品查询、订单、物流接口），可重点评测多步依赖型任务的准确率，而非只关注单步 API 调用指标。

Agent | 2026-08-16 | HF Daily | score 7/10

Looped LLM Tool Calling Compositional API Adaptive Inference Agent

Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding

超越帧选择：长视频理解的生成式隐式证据聚合

🧭 视频理解 · 隐式证据聚合

The Hong Kong University of Science and Technology · Baidu Inc. · Alibaba Group · Xidian University

通过查询条件分布引导隐式证据聚合，在帧选择后生成紧凑跨帧证据，以极低成本大幅提升长视频理解准确率

📌 工作参考价值（3 点）

视频推荐或直播理解任务中，可借鉴隐式证据聚合模块，以微小开销增强多帧/多片段信息的跨时刻融合。
自适应证据调用机制可迁移至推理阶段动态计算分配：根据查询难度决定是否插入额外计算模块，控制延迟。
用于长序列用户行为建模时，可参照查询条件分布对历史行为片段加权聚合，提升关键信息提取效率。

Multimodal | 2026-07-30 | cs.CV | score 6/10

Long-Video Understanding Evidence Aggregation Latent Evidence Cross-Frame Integration Adaptive Inference Multimodal LLM

Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs

联合视觉Token与LLM计算的自适应推理框架

🧭 多模态高效推理 · 联合自适应调度

Purdue University · University of Wisconsin–Madison · NVIDIA

提出SmartVL，联合动态控制视觉token数量和LLM计算量，实现多模态LLM的精度-效率帕累托最优

📌 工作参考价值（4 点）

在电商多模态问答或商品理解Agent中，可借鉴视觉token的动态剪枝，按输入复杂度自适应保留关键视觉信息，减少冗余计算，降低首词延迟。
LLM推理时基于预算灵活跳层或关头的思路，可迁移至推荐系统重排或大模型推理阶段，在流量高峰期实现算力的细粒度分配。
共享预算编码+可微分延迟估计器的联合训练范式，可指导将多个自适应模块（如特征选择、模型深度）进行端到端协同优化，避免独立调优的次优解。
对于需要同时处理图片和文本的搜索推荐Agent，可联合调度视觉编码器和LLM的资源消耗，在保证回复质量的前提下最大化吞吐。

Multimodal | 2026-07-22 | cs.CV | score 7/10

Adaptive Inference Multimodal LLM Token Pruning Dynamic Compute Efficiency-Accuracy Trade-off

Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration

面向CTR预测的选择性测试时计算缩放：不确定性触发特征路径探索

🧭 测试时优化 · CTR预测 · 不确定性估计 ★ 深度解读

Alibaba Group

提出训练无关、模型无关的测试时框架UTTSI，根据样本不确定性自适应分配多路径探索，显著提升CTR预测性能

📌 工作参考价值（4 点）

不确定性感知的推理预算分配：在电商推荐中，用户/物品交互稀疏导致部分样本预测不可靠。UTTSI 通过 Count-Min Sketch 统计特征频率作为先验，结合模型 logit 置信度（或梯度属性）计算样本不确定性，从而为高不确定性样本投入额外计算，低不确定性样本快速通过。该方法无需修改模型，可轻量植入现有线上服务，尤其适合特征稀疏的业务。
多路径特征探索与一致性加权：对高不确定性样本，基于频率和属性分数随机采样生成多个特征子集，并行做多次前向预测，再用一致性加权聚合，可平均化噪声、提升鲁棒性。工程上可将多个子路径预测部署在并行 worker 上，保持单次前向延迟不变，适合有GPU平算资源的在线推理。
自适应特征过滤：通过离线计算每个特征场的可靠性阈值（分位数），推理时过滤低可靠性特征（频率+属性双低），简单有效。可单独作为一种特征去噪 trick 应用于生成式推荐或 Agent 的输入预处理，在保证高置信度特征的同时抑制噪声。
测试时计算缩放的范式迁移：本工作表明，即使不改变模型结构和训练流程，仅在推理时按需分配计算，也能带来可观的线上收益（A/B CTR 相对提升 5.3%）。对于有严格延迟要求但有额外算力的电商推荐系统，可以借鉴这种“推理时计算预算分配”思想，对低置信度请求进行多路召回或额外特征融合，而不影响基础链路。

RecSys | 2026-05-24 | cs.IR | score 10/10

Test-Time Compute CTR Prediction Uncertainty Estimation Feature Sparsity Adaptive Inference Multi-Path Exploration